本地网络媒体词频统计(二)

对本地网络媒体的信息量感兴趣，于是针对以下三个网站的主页内容进行采集分析：

苍南在线：http://www.cangnan5.com

苍南网：http://www.0577cnw.com

龙港网：http://www.cnlg.cn

标题贡献量

  • 苍南在线：378
  • 苍南网：350
  • 龙港网：466

词频统计

使用了 BeautifulSoup 提取页面所有标题，代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
sites = ["http://www.0577cnw.com/","http://www.cangnan5.com/","http://www.cnlg.cn/"]
titles = []

def getPate(url):
  global titles
  count = 0
  page = urllib2.urlopen(url) 
  soup = BeautifulSoup(page)
  for link in soup.find_all('a'):
    titles.append(link.text)
    count = count + 1
  return count
  
for url in sites:
    print getPate(url)

使用 jieba 分词并统计词频，结果如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
苍南 112 11.558308%
龙港 44 4.540764%
在线 25 2.579979%
社区 23 2.373581%
汽车 22 2.270382%
生活 21 2.167183%
活动 19 1.960784%
美食 18 1.857585%
房产 14 1.444788%
论坛 14 1.444788%
积分 13 1.341589%
温州 13 1.341589%
文明 12 1.238390%
宝贝 12 1.238390%
楼市 11 1.135191%
东路 10 1.031992%
摄影 9 0.928793%
装修 9 0.928793%
2015 9 0.928793%
亲子 9 0.928793%
溪河 9 0.928793%
卤鹅里 8 0.825593%
男子 8 0.825593%
长满 8 0.825593%
张国荣 8 0.825593%
公布 8 0.825593%
CCC 8 0.825593%
店里 8 0.825593%
...

昨天正好在朋友圈里看到关于 卤鹅里长满白色的虫子 的帖子，以指数作为衡量单位的话，卤鹅里 的指数在这两天会上升。实际进入各站点首页搜索该关键词，只有 苍南在线 的主页多次出现该连接。

进一步完善

  • 首页可能出现相同的标题
  • 三个站点的定位并不相同

根据以上三点，完善代码，获得数据如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
苍南网词频统计：

 苍南 39 14.828897%
 生活 15 5.703422%
 汽车 15 5.703422%
 活动 9 3.422053%
 楼市 9 3.422053%
 在线 8 3.041825%
 房产 7 2.661597%
 论坛 6 2.281369%
 随手 6 2.281369%
 宝贝 6 2.281369%
 家居装饰 5 1.901141%
 摄影 5 1.901141%
 妈咪 5 1.901141%
 男子 4 1.520913%
 美食 4 1.520913%
 交友 3 1.140684%
 平阳 3 1.140684%
 邀请 3 1.140684%
 亲子 3 1.140684%
 文明 3 1.140684%
 温州 3 1.140684%
 信息港 3 1.140684%
 派对 3 1.140684%
 ...
 
苍南在线：

 苍南 23 9.829060%
 美食 8 3.418803%
 在线 6 2.564103%
 活动 6 2.564103%
 RE 5 2.136752%
 2015 5 2.136752%
 论坛 5 2.136752%
 家装 4 1.709402%
 我要 4 1.709402%
 僵尸 4 1.709402%
 亲子 4 1.709402%
 招聘 4 1.709402%
 03 4 1.709402%
 有限公司 4 1.709402%
 装修 4 1.709402%
 发生 3 1.282051%
 网络科技 3 1.282051%
 积分 3 1.282051%
 26 3 1.282051%
 火灾事故 3 1.282051%
 ...
 
龙港网：

 龙港 36 17.647059%
 社区 20 9.803922%
 苍南 9 4.411765%
 文明 6 2.941176%
 龙港镇 6 2.941176%
 温州 4 1.960784%
 生活 4 1.960784%
 导航 4 1.960784%
 活动 4 1.960784%
 少儿 4 1.960784%
 百日 3 1.470588%
 中国 3 1.470588%
 推出 3 1.470588%
 访谈 3 1.470588%
 男子 3 1.470588%
 城市 3 1.470588%
 攻坚 3 1.470588%
 专题 3 1.470588%
 万元 3 1.470588%
 上市 3 1.470588%
 孩子 3 1.470588%
 浙江 3 1.470588%
 银泰 3 1.470588%
 优惠 3 1.470588%
 ...

根据实际内容分析，三个站点的主页内容并无太多交集，以 僵尸 该词为例，最近热议 僵尸肉 ,如果每个网站都转载相关文章，从词频分析中应该很容易发现。

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

那年二十七